前言:改個 badge 而已,能有什麼風險? 「不過是把 README 裡一個徽章的圖示網址換掉,這種瑣事直接交給 AI 處理就好了吧?」 昨天走完一個到現在還...
我在 Sekoya Tech 做 LibreDB Studio,一個 MIT 授權、自己架在伺服器上、用瀏覽器開的資料庫用戶端。這篇不是產品介紹,是把我們做這個...
前言:README 寫得爛,去看程式碼不就好了? 「README 寫得爛,去看程式碼註解或原始碼不就好了?」 這句話沒錯,但代價是:新使用者要多花一段時間,自己...
上一篇介紹了 Projection Pushdown,讓資料來源盡量只讀取查詢需要的欄位。 今天介紹另一個重要的最佳化: Filter Pushdown 它的...
上一篇介紹了 Query Optimizer 的目的,今天深入其中一項常見最佳化: Projection Pushdown 它的核心概念是: 查詢只需要哪些...
前幾天我們看到,一段 SQL 會先被轉換成 Logical Plan,再交給 Physical Planner 產生實際執行計畫。 但在這兩個階段之間,還有一個...
先回應讀者的問題:Schema 和 Physical Plan 的關係 有讀者提問:Physical Planner 建立資料來源運算子時,Schema 到底扮...
前言 「AI agent 都能自己寫程式了,那開源專案的維護是不是也可以整包丟給它?issue 讓它分類、PR 讓它審、bug 讓它修,維護者只要負責『簽名』就...
上一篇使用 EXPLAIN 觀察了 SQL 的 Logical Plan。 Logical Plan 描述的是: 這段查詢想完成什麼? 今天再往下一層,介紹...
上一篇介紹了 Logical Plan,知道 SQL 會被轉換成一棵由 TableScan、Filter、Aggregate 與 Projection 組成的操...
Logical Plan 是 SQL 的第一張執行藍圖。 它不會立刻讀取檔案,也不會直接產生查詢結果,而是先把 SQL 拆成一棵由多個 Logical Oper...
先來回答昨天讀者的問題 昨天有讀者問: 規劃和執行兩階段,是先規劃後執行嗎?還是獨立的兩塊? 答案是: 先規劃,後執行。 兩者不是獨立的兩條流程,而是同一...
昨天有讀者問: DataFusion 是如何利用 Schema 產生 RecordBatch?DataFusion 和 Schema 的關係到底是什麼? 簡...
在 Apache Arrow 中,一張資料表不是一個模糊的「表格物件」,而是由三個核心概念組成: Schema → 定義欄位名稱、資料型別與欄位順序 Arra...
Apache Arrow 是一套跨語言的欄式記憶體格式。 它不是資料庫,也不是只用來保存資料的檔案格式;它處理的是另一個問題: 資料進入記憶體後,要如何排列,...
先說結論 分析系統偏好欄式資料(Columnar),主要是因為分析查詢常常會: 掃描大量資料。 但只使用其中少數幾個欄位。 進行篩選、分組與聚合,例如 WHE...
前幾天收到一些讀者回饋,希望文章可以更像教材:先把概念與資料處理流程說清楚,再進入程式實作。 我覺得這個建議很好,謝謝大家給我回饋~ 對資料工程來說,成功把資料...
昨天我們將 CSV 註冊成 DataFusion 中的 Table,並使用 SQL 執行欄位選擇與資料篩選。 今天換成另一種常見的資料格式:JSON。 JSON...
前兩天,我們先從概念上認識了 Query Engine,也知道 DataFusion 是一套使用 Rust 與 Apache Arrow 建立的查詢引擎。 今天...
大家好,我是 Cady,目前就讀資管系,也正在參與 Apache DataFusion 的開源貢獻。 發現 Day 1 忘記介紹自己,來補充一下,免得很像 AI...
前言 提到資料工程,你最先想到的可能是 ETL: 從 API、資料庫或檔案擷取資料 清理缺失值與錯誤格式 轉換欄位型別 將資料寫入 Data Warehous...
專案資訊 專案名稱: FlowPick-網頁媒體下載器與媒體嗅探器瀏覽器擴充功能 專案簡介: FlowPick 是一款免費、注重隱私的瀏覽器擴充功能,專為「網頁...
Codex Skills 越裝越多,怎麼讓它們真的協作?用 Workflow Skill Router 建立自己的 Skill Tree 當 Codex 裡只有...
在資料同步、CDC(Change Data Capture)、事件驅動系統中,「如何即時取得 PostgreSQL 的資料變更」是一個非常核心的問題。pg-wa...
My Story|心流創作的起點 我開始在 Medium 與 YouTube 上分享創作的那一刻,其實並不輕鬆。最初只是想記錄旅遊與靈感的瞬間,但當內容一...
從 2023 年碩士班畢業後,我就接下了老闆交給我的任務,試著讓 free5GC 能夠變得更加 community-driven,在有限的時間內我也做了很多有趣...
Hello, 各位 iT 邦幫忙 的粉絲們大家好~~~ 在本系列文因為工作上的產品應用需求,進而探索到很多層面的點滴事。透過每篇 EP 的分享把這些點滴整理,...
雖然鐵人賽已經順利完成,但開發的套件還是會持續更新,剛好又有想分享的就有這篇出來,有興趣的還是可以看看。 Formatter Formatter 是在程式開發的...
跌跌撞撞也終於到這次鐵人賽的最後一天了,這次因為是趕在最後一天參賽,每天的主題也只有大概的安排,變成寫什麼就介紹什麼,所以篇幅安排應該會覺得滿跳的,今天就來好好...
在昨天有簡單提到了一下 logging 這個工具,今天會再做更深入的介紹,因為當使用者在使用我們的套件的時候,提供好的訊息也可以讓他們更快更容易的操作,我們在開...